在现实世界的机器人技术应用中,强化学习(RL)代理通常无法推广到训练过程中未观察到的环境变化。对于基于图像的RL而言,此问题已加强,其中一个变量(例如背景颜色)的更改可以更改图像中的许多像素,并且又可以改变图像代理的内部表示中的所有值。为了了解更多可靠的表示形式,我们引入了时间分离(TED),这是一项自制的辅助任务,可通过RL观察的顺序性质导致分离表示表示。我们从经验上发现,与最先进的表示方法相比,使用TED作为辅助任务的RL算法更快地适应了通过持续培训的环境变量的变化。由于表示形式的分解结构,我们还发现,经过TED训练的策略可以更好地概括地看不见的变量值与任务无关(例如背景颜色)以及影响最佳策略(例如目标目标位置)的变量值的看不见值。
translated by 谷歌翻译